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摘 要 大 脑 可 以 对 来 自 不 同感 党 通道 的 信息 进行 处 理 与 整合 。 与 单一 感觉 通道 相 比 ， 个 体 
对 同时 呈现 在 不 同感 觉 通 道 的 目标 信号 的 响应 会 更 快 。 对 于 这 种 现象 的 一 种 主要 理论 解释 是 
< 同 激活 模 型 ， 该 模型 认为 来 自 不 同 通道 的 刺激 在 特定 的 脑 区 汇聚 整合 ， 比 如 项 叶 内 沟 、 杜 
上 沟 和 前 额 叶 皮 层 区 域 。 整合 后 的 信号 强度 更 大 ,可 以 更 快 地 触发 到 应 , 但 是 信号 的 整合 发 
生 在 认 知 加 工 的 哪 一 阶段 目前 尚未 有 明确 结论 。 当 个 体 对 出 现在 不 同感 觉 通道 之 间 的 任务 转 
> 换 进 行 加 工时 , 产生 与 感觉 通道 相关 的 任务 转换 的 损失 小 于 跨 感觉 通道 转换 损失 与 任务 转换 
损失 的 总 和 , 这 为 与 感觉 通道 相关 的 转换 代价 来 源 于 任务 设置 的 惯性 和 干扰 提供 了 证 据 。 而 
在 单 通道 和 多 通道 之 间 发 生 转换 时 , 跨 通道 转换 代价 会 减 小 甚至 消失 , 这 是 由 于 同时 发 生 的 
多 感觉 整合 抵消 了 一 部 分 损失 ,这 种 现象 支持 了 共同 激活 模型 理论 。 然 而 ， 多 感觉 信号 整合 
对 任务 转换 的 神经 加 工 过 程 产生 怎样 的 影响 并 不 清楚 , 在 未 来 的 研究 中 可 以 把 多 感觉 整合 范 
式 同 经 典 的 任务 转换 范式 结合 改进 , 进而 确定 跨 通道 转换 的 加 工 机 制 和 多 感觉 信号 整合 的 发 
生 阶段 。 


关键 词 多 感觉 整合 ， 见 余 信号 效应 ， 跨 通道 转换 效应 ， 任 务 转换 
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生活 中 我 们 身边 的 场景 和 事物 在 不 断 变化 , 需要 我 们 不 断 地 从 一 个 场景 转换 到 另 一 个 场 
景 中 , 而 接收 到 的 信息 大 多 数 都 是 来 自 于 不 同 的 感觉 通道 。 从 当前 执行 的 任务 转移 到 新 的 任 
务 中 去 就 是 任务 转换 , 对 接收 到 的 多 感觉 通道 信号 进行 处 理 , 并 予以 响应 就 是 多 感觉 整合 过 
程 。 当 目标 信号 同时 在 不 同 的 感觉 通道 旦 现时, 我 们 的 响应 过 程 会 加 快 ， 而 这 种 多 感觉 通 
言 号 又 被 叫做 元 余 信 号 (redundant signals, Gondan & Minakata, 2016)。 人 们 经 常 使 用 元 余 信 号 
来 确保 信息 能 准确 传递 给 对 象 ， 比 如 警车 的 警笛 和 内 灯 ， 相 较 于 单一 信号 ， 元 余 信 和 号 会 让 对 
象 产生 更 快 更 准确 的 反应 。 
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我 们 在 生活 中 所 接收 到 的 多 数 信 息 都 是 经 由 不 同 的 感觉 通道 进入 大 脑 。 而 大 脑 可 以 整合 
来 自 不 同感 官 的 刺激 ， 对 这 些 信息 进行 有 机 统一 地 处 理 ， 这 一 加 工 过 程 被 称 为 多 感觉 整合 。 
研究 多 感觉 整合 行为 效应 的 常用 方法 是 使 用 简单 的 快速 反应 时 间 任 务 , 包 括 快速 辨别 任务 和 
快速 检测 任务 。 检 测 任务 要 求 参 与 者 尽 可 能 快 地 对 接收 到 的 所 有 刺激 做 出 反应 ， 而 快速 辨别 
任务 则 要 求 参与 者 在 接收 到 的 刺激 中 分 辨 出 预定 的 目标 刺激 并 快速 做 出 反应 ,在 快速 反应 时 
间 范 式 中 ， 每 次 给 参与 者 单独 呈现 一 种 感觉 通道 刺激 《〈 比 如 单独 呈现 视觉 信号 V 或 者 听觉 
信号 A) ， 或 者 同时 呈现 两 种 或 多 种 不 同感 觉 通 道 刺激 〈 比 如 视觉 信号 V 和 听觉 信号 A 一 
起 呈现 ) 。 早 在 1962 年 , Hershenson 就 在 他 的 一 项 经 典 实验 中 分 别 给 参与 者 呈现 视觉 刺激 ， 
听觉 刺激 以 及 同步 视听 刺激 ,命令 参与 者 听 到 或 看 到 目标 刺激 就 做 出 反应 ， 最 终 观察 到 了 视 
听 刺 激 同时 呈现 条 件 下 平均 反应 速度 的 加 快 (Hershenson, 1962). Innes 和 Otto(2019) 同 样 在 
实验 中 证 实 了 参与 者 对 双 通道 视听 信号 的 反应 要 快 于 单独 的 视觉 信号 和 听觉 信号 , 把 同时 旺 
现 的 视听 信和 号 刺激 称 作 宛 余 信 号 (redu ”ndant signals). Shaw 等 (2020) 在 实验 中 利用 快速 检测 
任务 范式 ,比较 了 参与 者 在 响应 单 感觉 刺激 和 多 感觉 刺激 时 反应 时 的 差异 , 结果 表现 出 了 多 
感觉 刺激 信号 的 反应 易 化 效应 。 到 目前 为 止 ， 已 经 有 大 量 的 实验 证 据 证 明 , 在 利用 多 感觉 通 
RK OURS) 完成 任务 时 ， 相 较 于 单一 通道 刺激 (单一 信号 ) ， 参 与 者 的 反应 会 更 加 
准确 也 更 加 快速 ， 这 种 反应 易 化 现象 被 称 为 元 余 信 号 效应 ， 即 RSE(redundant signals effect, 
Gondan & Minakata，2016)。 元 余 信 号 效应 是 多 感觉 加 工 研究 领域 一 个 重要 的 研究 主题 。 
O 最 近 ，Barutchu 和 Spence(2021) 在 一 项 研究 中 分 别 利用 快速 检测 任务 和 辨别 任务 探讨 了 

多 感觉 整合 加 工 和 感觉 刺激 特异 性 的 关系 ， 感 觉 刺 激 使 用 了 听觉 和 视觉 形式 的 字母 b 和 字 

母 d， 以 单 感觉 或 者 双 感 觉 通 道 呈 现 。 在 检测 任务 中 ， 参 与 者 尽 可 能 快 地 对 所 有 的 刺激 做 出 

反应 ， 而 在 辨别 任务 中 ， 参 与 者 只 在 出 现 目标 字母 (b 或 d) 的 情况 下 做 出 反应 。 结 果 表明 
在 检测 任务 中 ， 在 视觉 和 听觉 刺激 同时 呈现 的 条 件 下 ， 参 与 者 的 反应 更 快 ; 在 辨别 任务 中 ， 
只 有 在 视觉 和 听觉 刺激 都 与 目标 字母 一 致 时 才 会 出 现 元 余 信 号 效应 , 当 刺 激 与 目标 不 一 致 时 
反应 却 变 慢 (Barutchu & Spence, 2021)。 造 成 这 种 分 离 性 结果 的 原因 可 能 是 由 于 Barutchu 和 
Spence 所 使 用 的 范式 并 没有 将 快速 反应 任务 同 转换 任务 分 离开 ， 宛 余 信 号 效应 受到 转换 代 
价 的 影响 。 我 们 将 在 第 3 节 更 加 详细 地 描述 两 种 效应 的 关系 。 
1.2 RSE 效应 的 两 种 解释 模型 
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长 期 以 来 ， 研 究 者 们 提出 了 多 种 可 能 的 理论 模型 来 解释 这 种 多 感觉 信 
其 中 最 广泛 被 接受 的 两 种 分 别 是 
modeD)”。 竞 赛 模型 (Miller, 1982) 认 为 ， 在 加 工 多 感觉 
被 分 别 加 工 独 立 处 理 的 ， 几 种 通道 
道 刺激 组 成 的 元 余 信 
的 不 同 而 变化 ,而 且 两 种 刺激 的 反应 时 分 布 重 登 ,两 种 信 


决定 的 (图 1) 。 以 两 种 通 


的 分 布 向 着 比 每 一 种 单独 通 


的 ， 因 为 这 种 元 余 效 应 是 统计 入 
TBE SR MAF ve AY 


为 , 来 自 不 同感 觉 通 道 的 刺 
通道 的 分 离 信 号 的 强度 都 强 
(图 2) 。 wE F. F 


竞赛 模型 (race model)” Fl“ Jk 


号 反应 易 化 效应 ， 
同 激活 模型 (coactivation 


通道 刺激 信息 时 ， 每 个 通道 的 信号 都 是 


盲 息 形成 竞争 模式 , 对 见 余 信 


号 的 响应 是 由 竞赛 的 获胜 者 
号 为 例 ， 对 每 一 种 刺激 的 反应 时 间 随 着 试 次 
号 的 竞争 会 导致 总 体 平均 反应 时 间 


道 感觉 刺激 的 反应 时 都 要 短 的 方向 仿 移 ， 这 种 变化 是 可 以 预测 


aL AJAR (Raab, 1962)。 


共同 激活 模型 (Blurton et al., 2014) 


[阶段 汇聚 整合 , 之 后 的 信号 强度 比 任 一 单独 


， 也 更 快 地 达到 感觉 阔 值 从 而 触发 反应 ， 因 此 产生 元 余 信 号 效应 


共同 激活 模式 下 的 对 整合 信 
多 感觉 刺激 反应 速度 (Maslovat et al., 2018). 


号 的 反应 速度 要 明显 快 于 竞赛 模型 下 的 


图 1( 引 自 Raab,1962) 竞赛 模型 。 来 


计 易 化 。S1，S2 分 别 指 来 自 不 同 通道 


图 2 ( 引 自 Raab,1962) 共同 激活 模型 。 


不 同 通道 的 刺激 S1，S2 独立 行进 ， 响 应 


来 自 不 


S2 刺激 ， 能 更 快 地 触发 反应 。 


同 通 道 


的 刺激 S1，S2 在 特定 


区 域 汇聚 整 


的 刺激 信号 ;S(t)， 刺 激 信号 随时 间 变 化 的 函数 。 


合 ， 整 合 后 的 信号 强度 大 于 单一 


最 先 到 达 的 刺激 激活 ， 竞 赛 导致 了 反应 时 的 统 


的 S1 和 


为 了 区 分 竞赛 模型 和 共同 激活 处 理 模型 ，Miller (1982) 提 出 了 竞赛 模型 不 等 式 (race model 
inequality，RSD， 该 不 等 式 已 成 为 元 余 信 号 效应 相关 实验 中 检验 行为 数据 的 常规 方法 。 公 式 
如 下 : 


P(RT < t|S1 + S2) < P(RT < t|S1)+ P(RT < tS) (1) 


公式 1 不 等 式 的 左边 表示 元 余 信 号 条 件 下 的 反应 时 概率 累积 密度 分 布 函数 ， 不 等 式 的 右边 分 别 是 单一 通道 输入 信号 对 应 的 反 
应 概率 累积 密度 分 布 函数 。S1 和 S2 是 指 两 种 来 自 不 同 通道 的 刺激 。 


根据 这 一 公式 , 在 竞争 模型 条 件 下 , 对 元 余 信 号 的 反应 时 累积 概率 总 是 等 于 或 低 于 单 
害 号 的 概率 分 布 。 当 反应 行为 数据 背离 这 一 不 等 式 的 时 候 , 违反 了 竞争 模型 ， 认 为 符合 共同 
激活 模型 .在 已 有 的 验证 实验 中 ， 大 部 分 实验 结果 都 表现 出 对 竞争 模型 的 背离 ， 从 而 支持 共 
同 激活 模型 假设 。 竞赛 模型 不 等 式 成 立 的 前 提 假 设 时 两 个 通道 的 刺激 信号 的 环境 独立 性 ， 即 
每 一 个 刺激 在 单独 呈现 时 和 与 另 一 种 刺激 同时 呈现 (元 余 信 号 中 ) 时 ,反应 时 分 布 是 不 变 的 。 
有 研究 者 认为 ， 当 违背 不 等 式 (1) 时 ， 可 能 符合 共同 激活 模型 ， 也 可 能 是 因为 违反 了 环境 独立 
ja 性 ， 产 生 了 环境 依赖 (Miller, 2016)。 环 境 依赖 性 是 指 ， 在 元 余 信 号 条 件 下 ， 对 两 种 刺激 的 加 
c 工会 互相 影响 ,与 刺激 单独 呈现 时 有 差异 ， 比 如 视觉 信号 的 存在 以 某 种 方式 影响 了 听觉 信号 
的 活动 , 产生 额外 的 激活 ， 从 而 影响 对 听觉 信号 的 反应 时 间 。 但 是 这 种 环境 依赖 的 假设 与 共 
同 激 活 模型 并 不 矛盾 ， 是 对 共同 激活 模型 的 一 个 补充 。 所 以 当 反 应 违背 竞赛 模型 时 ， 认 为 符 
合共 同 激活 模型 假设 。 
Kk 同 激活 模型 支持 元 余 信号 在 认 知 加 工 的 过 程 中 发 生 了 整合 ， 加 快 了 触发 反应 的 时 间 。 
不 同 通道 刺激 的 融合 加 强 具 体 发 生 在 加 工 过 程 的 哪个 阶段 仍然 没有 一 个 统一 的 解释 , 有 的 下 
究 者 认为 整合 发 生 在 感觉 阶段 ,有 人 认为 协同 激活 发 生 在 反应 启动 或 者 运动 执行 等 后 期 反应 
阶段 (Maslovatet al.,2018)。 也 有 人 提出 了 交互 模型 ， 认 为 一 部 分 加 工 阶段 涉及 竞争 模型 ， 其 
e 他 阶段 按照 共同 激活 模型 活动 (Miller, 2016)， 确 定 多 感觉 整合 交互 模型 的 具体 发 生 阶段 ， 还 
需要 之 后 的 研究 论证 。 
1.3 ”共同 激活 模型 的 有 关 神 经 机 制 

目前 已 有 的 关于 RSE 大 多 数 实验 研究 结果 都 违背 了 竞赛 模型 不 等 式 ， 虽 然 有 少数 几 项 
究 支持 竞赛 模型 , 但 是 都 因为 实验 证 据 的 不 充分 而 受到 争议 , 而 有 关 认 知 神经 影像 学 方面 
的 证 据 更 是 少 之 又 少 (Otto & Mamassian, 2017; Shaw et al., 2020; Van der Stoep et al., 2015). 
为 此 ， 在 下 文中 将 重点 介绍 有 关 共 同 激活 模型 的 神经 机 制 。 
研究 者 认为 ， 如 果 符 合共 同 激 活 模型 ， 那 么 存在 专门 加 工 多 感觉 信息 的 脑 区 ， 而 且 该 区 
域 只 在 多 种 感觉 信息 同时 呈现 时 才 被 激活 , 基于 此 假设 已 经 有 神经 成 像 研究 发 现存 在 只 对 多 
种 感觉 通道 信息 响应 的 脑 区 。 以 视听 元 余 信 号 输入 为 例 ， 处 理 视觉 刺激 和 听觉 刺激 的 第 一 个 
皮层 区 域 是 初级 视觉 皮层 V1 和 初级 听觉 皮层 A1， 提 取 之 后 的 信号 进入 高 级 皮层 区 域 进行 
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更 加 完整 的 表征 , 特别 是 显 上 沟 (STS)、 顶 叶 内 沟 (QPS) 和 前 额 叶 皮层 区 域 (PFC) (Van Atteveldt 
etal.,2014)， 所 以 可 以 假设 多 感觉 信息 的 整合 会 发 生 在 这 些 高 级 皮层 区 域 ， 近期 的 一 些 研究 
结果 也 证 实 了 这 一 假设 。 

Regenboge 等 (2017) 在 一 项 刺激 辨别 实验 中 ， 给 参与 者 呈现 事先 准备 好 的 视觉 刺激 和 听 

觉 刺 激 (A,V 和 AV 刺激 随机 呈现 ) ， 参 与 者 做 出 判断 啊 应 。 本 实验 中 研究 者 还 控制 了 刺激 

的 难度 ,分 为 不 同等 级 的 清晰 的 和 模糊 的 音 视 频 , 通过 fMRI 分析, ESE STU A CIPS) 

会 对 视觉 和 听觉 感觉 区 域 之 间 的 信息 交换 进行 自 上 而 下 的 控制 (Regenbogen et al., 2017)。 此 

外 Stickel 等 在 2019 年 的 一 项 关于 多 感觉 整合 的 实验 中 ， 利 用 fMRI 对 自 闭 症 患者 和 健康 参 

与 者 的 嗅觉 -视觉 和 听觉 -视觉 的 感觉 整合 神经 网 络 进行 了 比较 。 嗅 觉 -视觉 范式 中 给 各 参与 

者 以 单 通道 和 多 通道 的 方式 随机 呈现 匹配 的 愉快 /不 愉快 的 味道 和 图 片 ， 参 与 者 做 出 评判 响 
> 应 。 听 觉 -视觉 范式 的 刺激 信号 是 匹配 过 的 愉快 /不 愉快 的 声音 和 图 片 ， 呈现 方式 同 前 者 一 样 。 
结果 表明 ， 不 管 在 嗅觉 -视觉 还 是 听觉 -视觉 范式 中 ， 当 进行 多 感觉 整合 时 ， 项 叶 内 沟 ， 内 侧 
额 叶 皮层 和 下 额 叶 皮层 都 会 被 额外 激活 ， 证 实 了 多 感觉 整合 加 工会 发 生 在 这 些 区 域 (Stickel 
etal.,2019)。 但 是 有 研究 提供 了 证 据 表明 不 同 通道 信号 之 间 的 互动 可 以 发 生得 更 早 甚至 是 在 
初级 皮层 处 理 阶段 (Keil & Senkowski, 2018)， 在 这 些 区 域 中 ， 一 种 感觉 通道 的 信和 号 会 影响 另 
一 个 感觉 通道 的 兴奋 性 水 平 。 此 外 ， 在 丘脑 和 上 丘 中 也 发 现 了 多 感觉 信号 整合 的 有 关 通 路 
(Cappe etal., 2007)。 这 些 脑 区 的 发 现 也 为 之 后 研究 多 感觉 模 态 转换 的 相关 神经 机 制 提供 了 证 
据 支 持 。 

上 述 提 到 的 脑 区 在 处 理 多 感觉 刺激 时 需要 协同 合作 , 这 一 过 程 包括 各 个 脑 区 的 激活 , 区 
域 之 间 的 功能 连接 以 及 各 个 皮层 区 域 的 神经 振荡 活动 区域 之 间 神 经 振荡 活动 的 同步 性 可 以 
促进 听觉 ， 视 觉 或 触觉 之 间 的 跨 通道 影响 (Bauer etal.,2020)。Mercier “(2013)ib Re3 LOU 
手术 的 患者 执行 检测 任务 , 结果 表明 听觉 刺激 会 加 强 视觉 皮层 的 神经 振荡 的 相位 重 置 , 影响 
视觉 刺激 的 处 理 (Mercier et al., 2013)。 在 他 们 团队 的 另 一 项 研究 中 ， 参 与 者 接受 单一 或 混合 
的 视觉 和 听觉 刺激 ,同时 记录 听觉 处 理 区 域 的 脑 电 数据 , 结果 发 现 视觉 刺 激 可 以 重 置 听觉 皮 
层 中 8(1-4hz) All 0(4-7hz) 频 段 波 的 振荡 活动 。 同 时 也 发 现 了 多 感觉 条 件 下 a(8-12hz) 和 B(12- 
30hz) 频 段 的 振荡 相干 性 比 单独 感觉 条 件 下 的 总 和 更 大 (Mercier et al., 2015)。 结 合 Bastos 等 
(2015) 对 非 人 类 灵 长 类 动物 的 解剖 追踪 得 到 的 结果 ， 表 明 较 慢 的 振荡 活动 支持 更 远 距 离 的 耦 
合 ， 所 以 低频 段 振 荡 《〈 比 如 6 和 a) 的 多 感觉 效应 与 更 高 阶 的 皮层 处 理 区 域 对 多 感觉 整合 自 
上 而 下 的 反馈 有 关 。 而 在 高 频段 (如 Yy 波 ) 振荡 活动 中 观察 到 的 相干 性 的 增强 则 反映 了 对 刺 
激 的 自 下 而 上 的 处 理 过 程 。 这 些 研究 结果 证 明 , 通道 之 间 的 相互 影响 在 早期 的 初级 皮层 处 理 
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阶段 已 经 发 生 , 而 多 感觉 刺 激 会 导致 更 大 的 局 部 和 更 快 的 脑 区 间 的 振荡 相位 同步 重 置 , 这 种 
重 置 的 强度 与 更 快 的 反应 时 间 即 元 余 信 号 效应 RSE) 有 关 。 


2 任务 转换 

1 混合 代价 ， 切 换代 价 和 剩余 代价 
在 日 常生 活 中 , 为 了 应 付 随时 变换 的 任务 场景 ， 人 类 需要 高 级 复杂 的 认 知 控制 过 程 ， 从 
而 使 得 人 类 可 以 灵活 地 做 出 反应 ,实现 目标 。 任 务 转换 便 是 一 种 常用 的 探索 认 知 控制 机 制 的 
实验 范式 (Rogers & Monsell, 1995)。 任 务 转换 通常 包括 任务 表征 ， 任 务 准 备 ， 任 务 选择 ， 任 
务 执行 等 过 程 。 在 任务 转换 实验 中 的 前 后 两 次 试 次 中 ， 有 时 相 比 于 上 一 次 试 次 ， 当 前 试 次 的 
任务 类 型 会 发 生 改 变 ( 即 转换 条 件 ), 有 时 当前 试 次 的 任务 类 型 不 会 发 生 改 变 ( 即 重复 条 件 )。 
研究 者 将 转换 条 件 和 重复 条 件 下 参与 者 的 表现 做 比较 , 发 现 无 论 是 反应 时 还 是 错误 率 , 都 存 
在 一 个 非常 稳定 的 损失 ， 叫 做 “转换 代价 ”， 解释 这 一 现象 的 本 质 以 及 讨论 相关 的 神经 机 制 一 
直 是 任务 转换 研究 的 重点 。 
当 一 个 任务 模块 中 有 两 种 任务 类 型 , 且 包 括 重复 试 次 和 转换 试 次 , 将 其 称 为 混合 任务 块 
(例如 AABBAA 序列 ) ; 若 在 一 个 任务 块 中 ， 实 验 参与 者 被 要 求 只 完成 一 种 任务 类 型 ， 
NI 只 包括 重复 试 次 时 ， 则 是 单一 任务 块 (如 AAA 或 BBB 序列 ) 。 比 较 这 两 种 不 同 的 模块 中 参 
与 者 在 重复 试 次 中 的 反应 差异 , 发 现 混合 任 务 块 中 的 参与 者 的 反应 时 比 完 成 单一 任务 块 的 时 
间 要 长 ， 正 确 率 也 更 低 ， 这 种 损失 叫做 混合 代价 。 
« 在 线索 提示 任务 转换 范式 中 , 改变 提示 刺激 和 目标 刺激 之 间 的 时 间 间 隔 ( 即 准备 时 间 )， 
S 会 对 转换 代价 产生 影响 ， 延 长 准备 时 间 ， 转 换代 价 通常 会 降低 ， 被 称 为 准备 效应 。 但 是 延长 
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余 转 换代 价 存在 ， 这 就 是 剩余 效应 (Sohn et al., 2000)。 
2.2 任务 转换 相关 的 激活 脑 区 

大 脑 前 额 叶 皮 层 区 域 (PFC) 是 参与 任务 转换 过 程 的 一 个 重要 脑 区 。Dove 等 (2000) 利 用 功 
能 磁 共 振 技术 对 一 项 字母 判断 转换 任务 进行 探究 , 发 现在 任务 转换 条 件 下 , 前 额 叶 皮层 区 域 
被 额外 激活 。 前 额 叶 皮层 区 域 自 上 而 下 地 参与 有 关 任 务 的 处 理 与 控制 ， 是 任务 表征 ， 选 择 ， 
准备 和 切换 的 基础 。 比 如 根据 不 同类 型 的 任务 线索 ， 能 观察 到 PFC 的 双 侧 背 外 侧 区 域 的 激 
活 ， 而 且 与 任务 处 理 相关 的 里 时 下 皮层 活动 也 受到 PFC 活动 的 调节 。 而 当 任务 刺激 是 多 价 
的 , 需要 参与 者 对 反应 类 型 做 出 不 同 的 选择 并 且 可 能 会 犯错 误 时 , 额 叶 内 侧 的 前 扣 带 回 (ACC) 
会 被 激活 ， 来 解决 由 刺激 引起 的 冲突 (Dosenbach et al., 2007). 


经 有 研究 发 现 了 许多 其 他 大 脑 区 域 在 任务 转换 时 比 


E 复 任务 时 更 


此 外 ，Sohn 等 (2000) 利 用 fMRI 证 明 任务 转换 时 ， 顶 叶 的 有 关 区 域 被 激活 ， 例 如 顶 内 沟 
区 域 在 转换 任务 中 更 加 活跃 。 他 们 的 实验 结果 也 证 实 了 ] 
任务 相关 的 维度 之 间 转 换 时 ， 顶 叶 后 部 区 域 更 活跃 ; 


顶 叶 前 部 更 活跃 (Sohn et al., 2000)。 除 了 上 述 额 叶 和 顶 叶 


页 叶 区 域 可 能 存在 功能 分 离 , 当 在 与 


在 刺激 -响应 映射 规则 之 间 转 换 时 ， 
区 域 在 任务 转换 过 程 中 的 参与 ， 已 


舌 跃 , 例如 小 脑 和 杜 枕 皮层 


的 各 个 区 域 (Proskovec et al., 2019)。 总 之 ， 任 务 转换 需要 整合 各 种 感知 、 注 意 、 记 忆 和 运动 


过 程 ,所 以 现在 研究 者 们 越 来 越 多 地 把 焦点 集中 在 识别 和 到 


之 间 的 功能 联系 上 。 
2.3 任务 转换 中 的 神经 振荡 活动 


在 一 般 性 任务 转换 范式 (转换 只 发 生 在 单 通道 刺激 之 i 


司 ) AA 


LE 解 任务 转换 过 程 的 不 同 大 脑 区 域 


究 过 程 中 对 任务 转换 实验 


中 的 ERP 结果 进行 时 频 转换 ， 分 析 额 项 叶 区 域 不 同 频 段 波 的 振荡 变化 ， 研 究 与 转换 和 混合 


代价 有 关 的 脑 神 经 振荡 活动 ,从 而 探究 任务 转换 过 程 涉及 到 的 神经 加 工 机 制 。 许 多 相关 的 看 
F 重 复试 次 ， 额 项 叶 区 域 的 a 频带 振荡 


在 转换 条 件 下 会 有 显著 的 减 小 (转换 效应 ) ， 同 样 地 ， 和 单一 重复 任务 相 比 ， 混 合 任务 中 的 


完结 果 表 明 (Cooper etal., 2016; Wuetal., 2015), HE7 


重复 试 次 结果 中 的 a 频带 波 的 振荡 强度 显著 下 降 (混合 效应 ) ， 这 也 与 上 述 提 到 的 行为 结果 
一 致 。 此 外 ， 混 合 效应 差异 比 转换 效应 造成 的 振荡 差异 发 生得 更 早 且 更 加 持久 。 这 一 现象 也 


证 实 了 转换 代价 和 混合 代价 分 别 同 短暂 的 和 持久 的 认 知 控制 机 和 


有关 (Capizzi et al., 2020). 


一 般 认为 a 频带 的 振荡 活动 在 任务 转换 中 的 功能 意义 是 可 以 激活 一 种 抑制 性 的 自 上 而 下 的 


认 知 机 制 ， 上 基体 来 说 ， 当 一 个 新 的 任务 设置 与 当前 任务 设置 发 4 


抑制 注意 力 的 分 散 ， 促 进 对 当前 任务 的 反应 (Foxe et al., 2014)。 
B 频段 的 振荡 变化 模式 同 a 波段 一 致 , 也 存在 混合 效应 和 转换 效应 (Capizzi etal., 2020). 
即 在 混合 任务 中 ,转换 条 件 中 B 波 的 振荡 强度 显著 降低 ; 混合 任务 中 的 重复 试 次 和 全 重复 任 


EEF, a 波 的 振荡 活动 可 以 


务 中 试 次 的 结果 对 比 , B 波 的 振荡 强度 呈现 同样 的 降低 的 结果 , 而 且 混合 效应 大 于 切换 效应 。 


然而 关于 任务 转换 中 的 B 振荡 的 功能 还 没有 得 到 彻底 的 解决 , Cooper 等 (2019) 认 为 任务 转换 
期 间 的 B 振荡 主要 与 感觉 运动 功能 (如 运动 执行 和 准备 ) 有 关 ， 但 是 Capizzi 等 (2020) 反 了 驱 


了 这 一 观点 ， 认 为 在 任务 转换 中 , B 波 的 振荡 变化 反映 了 非 运 动 过 程 的 参与 ， 因 为 B 振荡 的 


脑 区 分 布 并 不 局 限于 感觉 运动 皮层 区 域 。 这 一 结论 
Haegens, 2017), 非 运 动 区 的 了 B 振荡 与 许多 认 知 过 程 有 关 ,， 如 了 
由 此 我 们 认为 与 w 波 类 似 ，B 波 的 神经 振荡 活动 同样 反映 了 大 脑 自 上 而 下 的 加 工 机 制 。 

6 频段 的 波 的 振荡 变化 与 a 和 $B 频段 不 同 ， 相 对 于 重复 试 次 ,切换 条 件 中 0 波 的 振荡 强 


也 在 最 近 的 研究 中 找到 了 证 据 (Spitzer & 
LEW, 长 期 记忆 和 决策 等 。 


= 


度 显 著 增 大 ， 存 在 明显 的 转换 效应 。 最 近 的 一 项 研究 也 表明 ， 额 项 叶 的 86 波 活动 强度 的 增加 
与 转换 代价 成 反比 ， 表 示 高 效 的 认 知 控制 (Cooper et al., 2017)。 这 些 研究 结果 表明 6 波 的 振 
荡 活 动 对 转换 代价 很 敏感 ， 在 任务 转换 机 制 中 发 挥 重 要 作用 (Capizzi et al., 2020)。 结 合 这 些 
研究 结果 , 我 们 猜想 9 频段 的 振荡 活动 可 能 与 注意 的 转移 有 关 。 当 前 要 执行 的 任务 与 之 前 的 
任务 不 同时 ， 参 与 者 需要 将 注意 力 转 移 到 新 的 相关 刺激 上 ， 建 立新 的 任务 设置 ， 所 以 更 大 的 
6 波 的 振荡 强度 反映 了 更 加 灵活 的 注意 转移 能 力 。 而 对 于 0 波 的 振荡 活动 与 混合 效应 的 关系 
目前 却 并 没有 得 到 稳定 明确 的 证 据 支 持 , 它 在 任务 转换 过 程 中 具体 的 功能 性 意义 也 需要 更 多 
研究 证 据 的 支撑 。 

3 多 感觉 整合 和 转换 效应 的 关系 

3.1 跨 通 道 转换 效应 

如 上 文 所 述 , 在 几乎 所 有 的 多 感觉 整合 研究 中 , 一 个 核心 的 实验 设计 是 快速 反应 时 间 任 
务 。 单 通道 感觉 刺激 和 双 通 道 感觉 刺激 被 以 可 变 的 刺激 时 间 间 隔 随机 地 混合 在 一 起 呈现 , 单 
通道 刺激 和 多 通道 刺激 可 以 分 别 单独 在 一 个 任务 块 中 呈现 ， 也 可 以 随机 地 混合 在 一 起 呈现 ， 
这 种 实验 设计 类 似 于 任务 转换 范式 中 的 混合 块 设计 。 在 多 感觉 混合 任务 块 中 , 前 后 两 个 刺激 
通道 相同 时 CV-V, A-A 或 者 AV-AV) ， 是 通道 重复 条 件 ; 前 后 两 个 刺激 通道 不 同时 (A-V 
或 者 V-A) ， 即 为 通道 转换 条 件 。 除 了 对 比 AV AIA, V 条 件 下 地 反应 时 会 出 现 元 余 信号 交 
应 之 外 , 根据 任务 转换 中 前 后 两 种 任务 不 同时 会 产生 转换 代价 , 在 多 感觉 刺激 混合 任务 中 应 
该 也 能 观察 到 类 似 的 跨 通道 转换 代价 和 混合 代价 。 

已 经 有 很 多 研究 证 实 了 这 种 猜想 , 例如 Spence 等 2001) 给 参与 者 随 机 呈现 一 系列 视觉 
听觉 和 触觉 刺激 ， 前 后 刺激 通道 相同 时 ， 平 均 反 应 时 比 通道 不 同时 显著 减 小 , 产生 了 通道 
换代 价 。 同 样 地 ，Shaw 等 在 实验 中 分 别 给 出 单一 视觉 刺激 ， 单 一 听觉 刺激 还 有 混合 多 感觉 
刺激 ， 要 求 参与 者 尽 可 能 快 地 做 出 反应 ， 在 结果 中 出 现 了 跨 通道 转换 代价 和 混合 代价 (Shaw 
etal.,2020)。 但 是 需要 注意 的 结果 是 ， 当 刺激 是 在 单 通道 和 双 通 道 之 间 转 换 时 《例如 A-AV， 
V-AV 等 ) ， 通 常 反 应 损失 会 减 小 甚至 消失 。 这 种 因为 前 后 刺激 通道 不 一 致 比 通道 一 致 产生 
的 反应 速度 降低 的 现象 被 称 为 跨 通道 转换 效应 ( 孙 远 路 等 ，2011)。 

3.2 转换 代价 与 RSE 的 关系 

由 上 可 知 ， 当 转换 是 发 生 在 不 同 通道 刺激 之 间 时 ， 依 然 存在 转换 代价 ， 损 失 来 源 是 通道 
转换 效应 。 这 种 跨 通 道 转换 代价 的 存在 对 RSE 中 单纯 的 多 感觉 协同 激活 的 解释 模型 产生 质 
疑 (Shaw et al., 2020)。 因 为 转换 代价 和 混合 代价 的 存在 ， 即 使 行为 数据 违背 了 竞赛 模型 ， 双 
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感觉 反应 时 间 的 加 速效 应 也 可 能 是 因为 混合 组 块 中 的 单 通道 感觉 刺激 之 间 存 在 转换 损失 而 
导致 单一 感觉 平均 反应 时 变 长 ， 而 不 是 双 通 道 感觉 反应 时 缩短 (Shaw et al., 2020)。Barutchu 
和 Spence(2021) 在 实验 中 证 实 跨 通道 转换 效应 会 潜在 地 提高 多 感觉 反应 易 化 效应 , RSE 使 得 
多 感觉 通道 条 件 下 的 反应 变 快 , 跨 通道 转换 效应 使 得 单一 通道 条 件 的 反应 变 慢 , 总 体 反 应 时 
更 小 。 根 据 上 述 RSE 有 关 的 神经 加 工 机 制 ， 在 刺激 驱动 和 认 知 的 调控 下 多 感觉 整合 会 发 生 
在 信息 加 工 的 某 一 阶段 ， 所 以 混合 模块 中 单一 通道 感觉 的 反应 减缓 (通道 转换 效应 ) 和 双 通 
道 感觉 的 反应 加 速 〈 共 同 激 活 模型 ) 之 间 并 不 是 非 此 即 彼 的 。 总 之 ， 跨 通道 转换 效应 可 以 为 
RSE 的 来 源 提供 一 种 新 的 解释 思路 , 通道 转换 促进 了 多 感觉 反应 易 化 , 并 且 与 共同 激活 模型 
不 是 完全 对 立 的 。 

3. 3 神经 机 制 


目前 很 少 有 实验 使 用 脑 电 或 功能 磁 共 振 等 技术 同时 对 路 通道 转换 效应 和 元 余 信 号 效应 
的 神经 影像 进行 对 照 研究 。Elkhetali 等 (2019) 利 用 功能 磁 共 振 研 究 了 在 多 感觉 通道 刺激 输入 
的 条 件 下 ， 任 务 类 型 在 视觉 和 听觉 任务 转换 时 ， 相 关 脑 区 功能 连接 的 差异 。 结 果 显示 ， 在 处 
理 当 前 相关 任务 时 ， 背 外 侧 前 额 叶 皮 层 ,， 腹 外 侧 前 额 叶 皮 层 和 额 下 回 区 域 与 感觉 皮层 的 功能 
连接 增强 且 与 刺激 的 通道 类 型 无 关 (Elkhetalietal., 2019)。 但 是 在 这 次 实验 中 ，Elkhetali 等 并 
没有 比较 通道 重复 条 件 和 通道 转换 条 件 下 的 脑 区 连接 差异 , 研究 跨 通 道 转换 效应 相关 的 神经 
加 工 机 制 。 结 合 上 文 提 到 的 任务 转换 和 RSE 的 神经 加 工 机 制 , 猜测 当 刺 激 是 多 通道 呈现 时 ， 


跨 通 道 转换 条 件 下 额 项 叶 网 络 包括 前 额 叶 皮 层 , 额 叶 内 侧 和 顶 叶 皮 层 会 有 额外 激活 , 对比 元 


余 信 号 和 单 通道 信号 条 件 时 ， 初 级 感觉 皮层 ， 颗 叶 和 额 顶 叶 区 域 的 活动 强度 可 能 会 增强 。 相 


应 地 ， 跨 通道 转换 条 件 下 的 wk 和 $B 波 的 神经 振荡 活动 也 应 该 会 表现 出 转换 效应 和 混合 效应 ， 
而 RSE 的 存在 会 影响 转换 条 件 下 振荡 的 相位 同步 性 变化 。 
4、 小 结 与 展望 

本 文 介绍 了 认 知 加 工 过 程 中 的 两 种 不 同 效应 ,一 种 是 多 感觉 整合 过 程 中 的 见 余 信号 效应 ， 
另 一 种 是 任务 转换 中 的 反应 损失 效应 。 而 在 RSE 有 关 的 研究 中 ， 我 们 发 现 了 跨 通道 转换 效 
应 。 这 种 路 通道 转换 效应 将 上 述 两 种 不 同 的 现象 联系 在 一 起 , 不 但 为 多 感觉 整合 中 的 宛 余 信 
号 效应 提供 了 男 一 种 可 能 的 解释 , 也 使 得 跨 通道 转换 效应 成 为 之 后 研究 多 感觉 整合 过 程 中 不 
可 忽视 的 一 个 因素 。 由 于 当前 有 关 任 务 转换 的 研究 很 少 从 多 感觉 通道 任务 转换 的 角度 研究 转 
换代 价 , 尤其 是 神经 影像 学 方面 的 研究 更 加 缺乏 ,所 以 跨 通道 转换 效应 的 发 现 可 能 为 任务 转 
换代 价 来 源 的 研究 提供 不 同 的 方向 。 


= 


4.1 跨 通 道 转换 代价 的 来 源 

任务 转换 过 程 中 会 产生 反应 损失 , 对 于 损失 的 来 源 主要 有 两 种 观点 , 任务 重建 和 任务 设 
置 惯 性 ( 史 艺 荃 和 周 晓 林 ，2004)。 虽 然 对 于 跨 通 道 转换 效应 的 有 具体 来 源 还 没有 足够 的 实验 证 
据 的 支撑 ， 但 是 我 们 可 以 根据 经 典 任务 转换 损失 的 来 源 对 跨 通道 转换 效应 的 来 源 做 出 假设 。 
也 即 是 ,， 当 响应 从 对 一 种 通道 刺激 转移 到 另 一 种 通道 刺激 时 , 不 但 前 后 的 注意 资源 分 配 会 有 
所 差异 , 而 且 也 会 有 自 上 而 下 的 认 知 加 工 对 前 一 个 试 次 处 理 的 抑制 作用 ,所 以 会 存在 转换 损 
失 。 

当 发 生 转 换 的 两 种 任务 的 刺激 是 通过 不 同 通道 呈现 时 , 任务 转换 和 通道 转换 会 同时 出 现 ， 
那么 任务 转换 和 感觉 通道 的 转换 都 会 产生 显著 的 转换 代价 (Sandhu & Dyson, 2013)。 研 究 结 
果 还 发 现 , 通道 和 任务 同时 发 生 转 换 产生 的 代价 分 别 大 于 单独 的 跨 通 道 转换 代价 和 任务 转换 
= 代价 ， 但 是 小 于 两 种 代价 的 总 和 ， 即 出 现 了 次 加 性 效应 (Peng et al., 2018)。 研 究 者 认为 这 种 
次 加 性 效应 表明 了 跨 通道 转换 和 任务 转换 过 程 既 是 相互 依赖 又 是 相互 独立 的 。 一 方面 , 当 通 
道 和 任务 都 发 生 转 换 时 ， 通 道 的 转换 〈 如 视觉 到 听觉 ) 使 得 完成 不 同 任务 涉及 到 的 神经 通路 
的 重 县 减少 ,转换 后 的 任务 受到 之 前 任务 设置 的 干扰 小 , 减少 了 反应 时 损失 ,进而 跨 通道 转 
换 和 任务 转换 过 程 得 以 分 离 ， 在 一 定 程度 上 相互 独立 。 尽 管 缺乏 相关 神经 基础 证 据 的 证 实 ， 
但 是 这 一 结果 似乎 为 转换 代价 来 源 于 之 前 任务 设置 的 惯性 和 干扰 提供 了 支持 , 未 来 的 研究 中 
可 以 进一步 探究 。 另 一 方面 , 研究 者 认为 存在 一 个 共同 的 认 知 处 理 中 枢 对 两 种 转换 过 程 起 作 
H, 这 种 认 知 中 枢 体 现在 额 项 叶 网 络 。 然而, 额 项 叶 网 络 的 具体 加 工 过 程 及 神经 机 制 需 要 在 
以 后 的 研究 中 继续 探索 。 

FT 4.2 跨 通道 转换 效应 对 RSE 共同 激活 模型 理论 的 补充 

根据 共同 激活 模型 理论 , 多 感觉 信号 会 在 加 工 过 程 中 进行 整合 , 整合 后 的 信号 更 快 地 触 
发 反应 , 然而 现在 为 止 不 同 模 态 刺激 的 整合 加 强 具 体 发 生 在 加 工 过 程 的 哪个 阶段 这 一 问题 仍 
然 没有 被 证 明 。 有 研究 者 发 现 ， 当 转换 是 发 生 在 两 种 不 同 的 单 通道 之 间 , 信息 处 理会 有 显著 
的 时 间 损 失 ; 但 是 当 反 应 是 在 多 通道 和 单 通道 之 间 转 换 时 , 转换 效应 则 不 稳定 甚至 不 会 观察 
到 转换 代价 (Barutchu & Spence, 2021; Shaw et al., 2020)。 我 们 认为 这 种 转换 代价 的 消失 可 能 
是 由 于 同时 发 生 的 RSE 抵消 了 转换 造成 的 损失 ， 从 而 支持 共同 激活 模型 理论 ， 并 且 多 感觉 
言 号 的 整合 加 工 也 可 能 对 转换 过 程 中 的 神经 机 制 产 生 影响 。 当 任务 转换 范式 中 的 刺激 是 视听 
同时 呈现 , RSE 的 存在 可 能 会 抵消 转换 造成 的 反应 损失 , 影响 转换 过 程 中 神经 振荡 的 同步 性 
变化 和 相关 脑 区 的 激活 强度 。 在 后 续 的 实验 中 可 以 通过 分 离 跨 通道 转换 和 RSE 这 两 种 效应 
对 反应 时 的 影响 来 验证 这 一 假设 ， 并 结合 脑 神 经 相关 技术 ， 比 较 两 种 效应 的 作用 机 制 ， 确 定 
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多 感觉 信号 整合 发 生 在 认 知 加 工 的 哪 一 阶段 ， 完 善 共同 激活 模型 理论 。 
4.3 多 感觉 整合 范式 的 改进 

为 了 解决 上 述 提出 的 跨 通道 转换 代价 来 源 以 及 共同 激活 发 生 阶段 等 问题 , 对 现 有 的 任务 
转换 范式 和 多 感觉 反应 范式 进行 改进 。 首先, 把 RSE 研究 范式 和 任务 转换 经 典范 式 相 结合 ， 
比如 两 种 任务 分 别 是 判断 数字 的 奇偶 或 大 小 ， 而 每 一 个 数字 刺激 的 呈现 形式 包括 图 片 (V) 和 
音频 (A), 刺激 呈现 的 通道 方式 包括 A-A-A...，V-V-V...，AV-AV-AV..., 每 一 种 模块 中 都 会 
包含 任务 重复 条 件 和 转换 条 件 ， 通 过 对 比重 复 条 件 和 转换 条 件 下 RSE 的 大 小 ， 分 析 转 换 效 
应 对 宛 余 信号 效应 的 影响 。 其 次 ， 在 单 通 道 任务 转换 范式 中 加 入 跨 通道 转换 条 件 ， 比 如 数字 
刺激 分 别 以 视觉 和 听觉 的 形式 随机 呈现 ， 这 样 转换 可 以 发 生 在 通道 间 ， 通 道内 或 同时 出 现 ， 
通过 比较 两 种 转换 同时 发 生 和 单独 发 生 时 脑 区 激活 位 置 差异 和 强度 差异 , 进一步 定位 两 种 转 
过 程 共 有 的 认 知 处 理 中 枢 。 
此 外 , 跨 通 道 转换 代价 是 由 于 前 后 神经 回路 的 改变 还 是 由 于 自 上 而 下 的 认 知 加 工 转换 导 
致 的 还 无 定论 , 为 了 确定 跨 通道 转换 代价 的 来 源 ， 可 以 在 实验 中 增加 数字 ,文字 或 者 具有 不 

意义 的 图 片 这 些 需 要 额外 认 知 加 工 的 刺激 信号 ， 与 经 典 RSE 研究 中 的 无 意义 音频 或 图 形 
进行 条 件 对 比 研究 。 最 后 ， 目 前 对 跨 通 道 转换 的 研究 主要 集中 在 听觉 和 视觉 两 个 通道 ， 然 而 
当 元 余 信 号 是 听觉 或 视觉 同 其 他 感觉 通道 《如 嗅觉 或 触觉 ) 的 组 合 时 ,是否 还 能 观察 到 同样 


是 
稳定 的 路 通道 转换 代价 并 促进 多 感觉 信号 的 反应 易 化 效应 ， 仍 需 在 之 后 的 研究 中 进一步 探 
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Abstract The signals from different sensory channels could be integrated and processed in brain. 
Compared with stimulus from a single sensory modality, the individual responses was faster for the 
multisensory target signals. One theory explaining this phenomenon is the co-activation model. 
According to the co-activation model, the signals input through multiple sensory channels would be 
integrated in specialized brain regions, such as the intraparietal sulcus, superior temporal sulcus and 
prefrontal lobe regions. The strength of the integrated signal is stronger, which could trigger the 
reaction more quickly. However, the integration of the multisensory signals has not been concluded 
to occur in which phase of the cognitive processing. When the task is switched between different 
modalities, the cost of task switching associated with the cross-modal is less than the sum of the 
modality switching cost and the single task switching cost, which provides evidence for the 
hypothesis that the switching cost associated with different sensory channels are derived from inertia 
and interference of the task set. Moreover, when modality switching occurs between single-modal 
and multi-sensory, the modality switching cost will reduce even disappear, which is due to the 
multisensory integration offset a part of loss. This supports the co-activation model. However, it’s 
unknown how the multi-sensory integration affects the nerve processing of the task switch. We 
could try to solve it by combining the multisensory integration research paradigm with the classic 
task switching paradigm, further to determine the processing mechanism of the cross-modal shift 
and the processing phase of multisensory integration. 

Keywords multisensory integration, redundant signal effect, modality shift effect, task switching 


